Миссия завершена! Вы освоили основные элементы языка ИИ!Не совсем верно! Давайте попробуем воссоздать эту последовательность!Знания загружены: токены и последовательности ... Это ... ? ... Или ...
Как мы называем мелкие блоки, которые использует ИИ для чтения?
Верно! Токены — это маленькие единицы, такие как «яблоко», «-инг» или «?», из которых состоит язык для ИИ.
Как компьютер представляет токен, чтобы понять его?
Верно! Компьютеры понимают только числа, поэтому каждый токен получает свой собственный уникальный числовой идентификатор.
Если у нас есть токены для слов «друг» и «корабль», как называется слово «дружба», когда оно представлено в виде списка чисел?
Точно! Упорядоченный список номеров токенов называется последовательностью.
Почему порядок токенов в последовательности так важен?
Точно! Одни и те же токены в другом порядке могут полностью изменить смысл предложения.
Каков лимит количества токенов, которые ИИ может обработать одновременно?
Вы правы! Окно контекста — это граница того, сколько информации ИИ может «помнить» во время разговора.
Может ли отдельный знак препинания, например точка (.), быть токеном?
Правильно! Токены могут быть целыми словами, частями слов или даже знаками препинания. Всё — строительный блок!
1
Токенизация и последовательности
EvoClass-AI004Lecture 4
0
🤖 Бип-боп! Добро пожаловать, кадет! Выберите подтему ниже, чтобы увидеть, как ИИ «читает» через токенизацию.
Команда Пи-ботаВ ЭФИРЕ
Бип-боп! Привет, кадет! Чтобы научить ИИ читать, сначала нужно разбить слова на мелкие «Лего-блоки». Готовы узнать, как компьютеры превращают слова в числа?
Прогресс по теме0%
Отличный выбор! Токен похож на кубик Лего. Слова, такие как «дружба», делятся на более мелкие части, например, «друг» и «корабль». Даже простая точка — это токен! Для ИИ эти части легче обрабатывать, чем целые длинные предложения.
1
Подтема 1
Что такое токен?
Разделение текста на мелкие строительные блоки, такие как «друг» и «корабль».
Посмотрите! Как только у нас есть токены, ИИ присваивает каждому из них секретный числовой идентификатор. Эти числа образуют «последовательность». Помните: порядок важен! «Собака укусила человека» и «Человек укусил собаку» используют одни и те же блоки, но последовательность рассказывает совершенно разную историю!
2
Подтема 2
Сила последовательностей
Превращение блоков в математический список, где важен порядок.
Знаете ли вы? У ИИ есть «окно контекста», которое похоже на размер его ладони. Он может хранить только определённое количество токенов в своей «памяти» за один раз, после чего начинает забывать начало!
Знаете ли вы?
У ИИ есть «окно контекста», которое похоже на размер его ладони. Он может хранить только определённое количество токенов в своей «памяти» за один раз, после чего начинает забывать начало!
Загрузка...
⭐⭐⭐

Миссия завершена!

Вы — мастер токенов!